Desenvolvimento de uma abordagem para reconhecimento cont?nuo da L?ngua Brasileira de Sinais utilizando imagens din?micas e t?cnicas de aprendizagem profunda.

Programa de P?s-Gradua??o em Ci?ncia da Computa??o. Departamento de Ci?ncia da Computa??o, Instituto de Ci?ncias Exatas e Biol?gicas, Universidade Federal de Ouro Preto.Durante os ?ltimos anos, t?m sido desenvolvidas diversas abordagens para o reconhecimento cont?nuo de l?nguas de sinais para melhorar a qualidade de vida das pessoas surdas e diminuir a barreira de comunica??o entre elas e a sociedade. Analogamente, a incorpora??o do dispositivo Microsoft Kinect gerou uma revolu??o na ?rea de vis?o computacional, fornecendo novas informa??es multimodais (dados RGB-D e do esqueleto) que podem ser utilizadas para gerar ou aprender novos descritores robustos e melhorar as taxas de reconhecimento em diversos problemas. Assim, nessa pesquisa de doutorado, apresenta-se uma metodologia para o reconhecimento de sinais cont?nuos da L?ngua Brasileira de Sinais (LIBRAS) utilizando como dados de entrada de um sinal as informa??es fornecidas pelo dispositivo Kinect. Diferentemente dos outros trabalhos na literatura, que utilizam arquiteturas de redes mais complexas (como as 3DCNN e BLSTM), o m?todo proposto utiliza janelas deslizantes para procurar segmentos candidatos de serem sinais dentro de um fluxo continuo de video. Do mesmo modo, prop?e-se o uso de imagens din?micas para codificar as informa??es espa?o-temporais fornecidas pelo Kinect. Assim, pode-se reduzir a complexidade da arquitetura CNN proposta para o reconhecimento dos sinais. Finalmente, baseado no conceito de pares m?nimos, um novo banco de dados da L?ngua Brasileira de Sinais chamado LIBRAS-UFOP ? proposto. A base LIBRAS-UFOP possui tanto sinais isolados (56 classes de sinais) como sinais cont?nuos (37 classes); n?s avaliamos nosso m?todo usando essa base e o comparamos com os m?todos propostos na literatura. Os resultados experimentais nos datasets LIBRAS-UFOP e LSA64 demostraram a validade do m?todo proposto baseado em imagens din?micas como uma alternativa para o reconhecimento de l?ngua de sinais.In the last years, several approaches have been developed for continuous sign language recognition to improve the quality of life of hearingimpaired people and reduce the communication barrier between them and society. Similarly, the incorporation of the Microsoft Kinect device originated the computer vision revolution, providing new multimodal information (RGB-D and skeleton data) that can be used to generate or learn new robust descriptors and improve data recognition rates in several problems. Thus, in this doctoral research, we propose a methodology for the continuous recognition of Brazilian sign language (LIBRAS), using as input data from a sign the information provided by the Kinect device. Unlike other works in the literature that use more complex network architectures (such as 3DCNN and BLSTM), the proposed method uses sliding windows to search for candidate segments of being signs within a continuous flow of video. Likewise, we proposed to use dynamic images to encode the spatiotemporal information provided by the Kinect. Thus, we can reduce the complexity of the proposed CNN architecture for sign recognition. Finally, based on the concept of minimal pairs, a new dataset of Brazilian Sign Language called LIBRAS-UFOP is proposed. The LIBRAS-UFOP dataset is composed of isolated signs (56 classes) and continuous signs (37 classes); we evaluate our method on this dataset and compare it with state-of-the-art methods. The experimental results on LIBRAS-UFOP and LSA64 datasets proved the feasibility of the proposed method as an alternative to sign language recognition